由于大规模数据集的可用性，通常在特定位置和良好的天气条件下收集的大规模数据集，近年来，自动驾驶汽车的感知进展已加速。然而，为了达到高安全要求，这些感知系统必须在包括雪和雨在内的各种天气条件下进行稳健运行。在本文中，我们提出了一个新数据集，以通过新颖的数据收集过程启用强大的自动驾驶 - 在不同场景（Urban，Highway，乡村，校园），天气，雪，雨，阳光下，沿着15公里的路线反复记录数据），时间（白天/晚上）以及交通状况（行人，骑自行车的人和汽车）。该数据集包括来自摄像机和激光雷达传感器的图像和点云，以及高精度GPS/ins以在跨路线上建立对应关系。该数据集包括使用Amodal掩码捕获部分遮挡和3D边界框的道路和对象注释。我们通过分析基准在道路和对象，深度估计和3D对象检测中的性能来证明该数据集的独特性。重复的路线为对象发现，持续学习和异常检测打开了新的研究方向。链接到ITHACA365：https：//ithaca365.mae.cornell.edu/
translated by 谷歌翻译
最近，深层神经网络（DNNS）用于减少带宽并提高互联网视频交付的质量。现有的方法训练服务器上每个视频块的相应内容超级分辨率（SR）模型，并将低分辨率（LR）视频块以及SR模型一起流到客户端。尽管他们取得了令人鼓舞的结果，但网络培训的巨大计算成本限制了其实际应用。在本文中，我们提出了一种名为有效元调整（EMT）的方法，以降低计算成本。 EMT没有从头开始训练，而是将元学习的模型适应了输入视频的第一部分。至于以下块，它通过以前的改编模型的梯度掩盖选择了部分参数。为了实现EMT的进一步加速，我们提出了一种新颖的抽样策略，以从视频帧中提取最具挑战性的补丁。拟议的策略高效，带来了可忽略的额外成本。我们的方法大大降低了计算成本并取得更好的性能，为将神经视频传递技术应用于实际应用铺平了道路。我们基于各种有效的SR架构进行了广泛的实验，包括ESPCN，SRCNN，FSRCNN和EDSR-1，证明了我们工作的概括能力。该代码通过\ url {https://github.com/neural-video-delivery/emt-pytorch-eccv2022}发布。
translated by 谷歌翻译
要利用战略承诺，这是玩游戏的有用策略，领导者必须学习有关追随者的回报功能的足够信息。但是，这使追随者有机会提供虚假信息并影响最终的游戏结果。通过对学习领导者的精心虚假的回报功能，与他的真实行为相比，追随者可能会引起更多使他受益的结果。我们通过广泛的游戏中这种战略行为研究追随者的最佳操纵。追随者的不同态度被考虑在内。乐观的追随者在所有游戏成果中最大限度地发挥了他的真实用途，这些效用可以由某些回报功能引起。悲观的追随者只考虑了导致独特游戏结果的错误报告的回报功能。对于本文中考虑的所有设置，我们表征了可以成功诱导的所有可能的游戏结果。我们证明，追随者可以找到误会其私人收益信息的最佳方法是多项式时间的。我们的工作完全解决了该追随者在广泛的游戏树上的最佳操纵问题。
translated by 谷歌翻译
估计物体的距离是自动驾驶的一项安全至关重要的任务。专注于短距离对象，现有方法和数据集忽略了同样重要的远程对象。在本文中，我们引入了一项具有挑战性且探索不足的任务，我们将其称为长距离距离估计，以及两个数据集，以验证为此任务开发的新方法。然后，我们提出了第一个框架，即通过使用场景中已知距离的引用来准确估算远程对象的距离。从人类感知中汲取灵感，R4D通过将目标对象连接到所有引用来构建图形。图中的边缘编码一对目标和参考对象之间的相对距离信息。然后使用注意模块权衡参考对象的重要性，并将它们组合到一个目标对象距离预测中。与现有基准相比，这两个数据集的实验通过显示出显着改善，证明了R4D的有效性和鲁棒性。我们正在寻求制作提出的数据集，Waymo OpenDataSet-远程标签，可在Waymo.com/open/download上公开可用。
translated by 谷歌翻译
由于其在自主驾驶中的应用，因此基于单眼图像的3D感知已成为一个活跃的研究领域。与基于激光雷达的技术相比，单眼3D感知（包括检测和跟踪）的方法通常会产生较低的性能。通过系统的分析，我们确定了每个对象深度估计精度是界限性能的主要因素。在这种观察过程中，我们提出了一种多级融合方法，该方法将不同的表示（RGB和伪LIDAR）和跨多个对象（Tracklets）的时间信息结合在一起，以增强对目标深度估计。我们提出的融合方法实现了Waymo打开数据集，KITTI检测数据集和Kitti MOT数据集的每个对象深度估计的最新性能。我们进一步证明，通过简单地用融合增强的深度替换估计的深度，我们可以在单眼3D感知任务（包括检测和跟踪）方面取得重大改进。
translated by 谷歌翻译
我们研究了从单个全景图像估算房间布局的问题。大多数前工程都有两个阶段：特征提取和参数模型配件。在这里，我们提出了一种端到端的方法，其直接从输入全景图像预测参数布局。它利用隐式编码过程将参数布局嵌入到潜像。然后学习从图像到此潜在空间的映射使端到端的房间布局估计成为可能。然而，尽管许多有趣的性质，但端到端的方法具有几个臭名昭着的缺点。广泛提出的批评是他们与数据集偏见令人困扰，并没有转移到陌生的域名。我们的研究回应了这种共同的信念。为此，我们建议使用语义边界预测映射作为中间域。它在四个基准（StructureD3D，Panocontext，S3DIS和Matterport3D）上带来了显着的性能提升，特别是在零拍摄传输设置中。代码，数据和模型将被释放。
translated by 谷歌翻译
异常检测是指识别偏离正常模式的观察，这是各个领域的活跃研究区域。最近，数据量表越来越多，复杂性和维度将传统的表示和基于统计的异常检测方法变得具有挑战性。在本文中，我们利用了高光谱图像异常检测的生成模型。 GIST是模拟正常数据的分布，而分布外样品可以被视为异常值。首先，研究了基于变分的基于异常的检测方法。理论上和经验地发现它们由于距离强烈的概念（$ F $ -divergence）作为正则化而不稳定。其次，本文介绍了切片的Wasserstein距离，与F分歧相比，这是一种较弱的分布措施。然而，随机切片的数量难以估计真正的距离。最后，我们提出了一个投影的切片Wasserstein（PSW）基于AutoEncoder的异常筛选方法。特别是，我们利用计算友好的特征分解方法来找到切片高维数据的主成分。此外，我们所提出的距离可以用闭合形式计算，即使是先前的分布也不是高斯。在各种现实世界高光谱异常检测基准上进行的综合实验证明了我们提出的方法的卓越性能。
translated by 谷歌翻译
联合超分辨率和反音调映射（SR-ITM）旨在提高具有分辨率和动态范围具有质量缺陷的视频的视觉质量。当使用4K高动态范围（HDR）电视来观看低分辨率标准动态范围（LR SDR）视频时，就会出现此问题。以前依赖于学习本地信息的方法通常在保留颜色合规性和远程结构相似性方面做得很好，从而导致了不自然的色彩过渡和纹理伪像。为了应对这些挑战，我们建议联合SR-ITM的全球先验指导的调制网络（GPGMNET）。特别是，我们设计了一个全球先验提取模块（GPEM），以提取颜色合规性和结构相似性，分别对ITM和SR任务有益。为了进一步利用全球先验并保留空间信息，我们使用一些用于中间特征调制的参数，设计多个全球先验的指导空间调制块（GSMB），其中调制参数由共享的全局先验和空间特征生成来自空间金字塔卷积块（SPCB）的地图。通过这些精心设计的设计，GPGMNET可以通过较低的计算复杂性实现更高的视觉质量。广泛的实验表明，我们提出的GPGMNET优于最新方法。具体而言，我们提出的模型在PSNR中超过了0.64 dB的最新模型，其中69 $ \％$ $ $较少，3.1 $ \ times $ speedup。该代码将很快发布。
translated by 谷歌翻译
潜在因子（LF）模型可有效地通过低级矩阵近似来表示高维和稀疏（HID）数据。Hessian无（HF）优化是利用LF模型目标函数的二阶信息的有效方法，并已用于优化二阶LF（SLF）模型。但是，SLF模型的低级表示能力在很大程度上取决于其多个超参数。确定这些超参数是耗时的，它在很大程度上降低了SLF模型的实用性。为了解决这个问题，在这项工作中提出了实用的SLF（PSLF）模型。它通过分布式粒子群优化器（DPSO）实现了超参数自加载，该粒子群（DPSO）无梯度且并行化。对真实HID数据集的实验表明，PSLF模型比在数据表示能力中的最先进模型具有竞争优势。
translated by 谷歌翻译
大规模的无向加权网络通常在与大数据相关的研究领域中发现。自然可以将其量化为用于实施大数据分析任务的对称高维和不完整（SHDI）矩阵。对称非负潜在因素分析（SNL）模型能够从SHDI基质中有效提取潜在因子（LFS）。然而，它依赖于约束培训计划，这使其缺乏灵活性。为了解决这个问题，本文提出了一个不受限制的对称非负潜在因素分析（USNL）模型。它的主要思想是两个方面：1）通过将非负映射函数集成到SNL模型中，输出LFS与决策参数分开； 2）随机梯度下降（SGD）用于实施不受限制的模型训练，并确保输出LFS非负性。对由实际的大数据应用产生的四个SHDI矩阵的实证研究表明，与SNL模型相比，USNL模型可实现缺失数据的预测准确性，以及高度竞争性的计算效率。
translated by 谷歌翻译